设为首页收藏本站
开启辅助访问

赞！一篇博客讲解清楚 Python queue模块，作为Python爬虫预备知识，用它解决采集队列问题

 您所在的位置：网站首页 › python queue join › 赞！一篇博客讲解清楚 Python queue模块，作为Python爬虫预备知识，用它解决采集队列问题

赞！一篇博客讲解清楚 Python queue模块，作为Python爬虫预备知识，用它解决采集队列问题

2023-04-13 16:22| 来源: 网络整理| 查看: 265

「这是我参与2022首次更文挑战的第15天，活动详情查看：2022首次更文挑战」

原计划直接写爬虫第 25 例，但是发现它需要 Queue 队列相关知识，翻阅了一下同步编写的《滚雪球学 Python》专栏竟然没有相关博客。这就不得不补充一篇，恰好把他放在《Python 爬虫 120 例》中。

Queue 模块

在学习之前，你可以直接打开 官方手册 对比学习。

只要涉及到多线程爬虫，就会涉及到数据采集队列的优先级问题，在 Python 中 Queue 模块提供了一个同步的，线程安全的队列类，它包括常见的 FIFO（先入先出）、LIFO（后入先出）、PriorityQueue（按优先级队列）以及先入先出类型的简单队列（SimpleQueue，3.7 版本新增功能）。

先入先出，后入先出这些都是数据结构中的一些基本知识，不再扩展说明，直接百度相关关键词即可学习。

可以回忆出来栈是先进后出，队列（Queue）是先进先出即可。

初始队列可以先掌握这样几个概念：

初始化队列：创建一个空队列； 入队：把数据添加到对位； 出队：从队首取数据； 销毁队列：删除队列相关数据。 初始化一个队列

在 Python 中可以直接导入 Queue 模块，然后对其进行初始化操作：

import queue q = queue.Queue(maxsize=5) print(type(q)) 复制代码

参数 maxsize 是一个整数，表示队列的最大长度，在实际操作中，当队列达到上限时，插入数据会被阻塞，直到有数据出队之后，才可被插入。该参数默认为 0，即表示队列长度不限制，如果设置为负数，队列长度也无限（一般无人设置为负数）。

如果要声明为其它不同类型的队列，使用下述代码即可：

# 后进先出 q = queue.LifoQueue(maxsize=5) # 优先级队列 q = queue.PriorityQueue(maxsize=5) # 先进先出类型的简单队列，没有大小限制 q = queue.SimpleQueue() 复制代码

这四种队列区别如下：

queue.Queue(maxsize=0)：先进先出，最早进入队列的数据先出队列； queue.LifoQueue(maxsize=0)：最后进入队列的数据先出队列； PriorityQueue(maxsize=0)：比较队列中每个数据的大小，值最小的数据先出队列； queue.SimpleQueue：与 1 相似，只是一个简单队列，缺少一些高级的方法。 队列数据新增

队列新增数据，即将一个值放入队列中，该方法的格式如下：

Queue.put(item, [block[, timeout]]) 复制代码

其中 item 必填参数，即插入的值，block 默认为 True，如果当 block 为 True 时且 timeout 是 None (默认)，put() 方法就使调用线程阻塞在这里，直到空出一个数据单元，代码如下：

# 不要运行代码，会进入假死等待状态。 import queue q = queue.Queue(maxsize=2) q.put("橡",block=True) q.put("皮",block=True) q.put("擦",block=True) print(q) 复制代码

如果 timeout 是个正数，将最多阻塞 timeout 秒，如果在这段时间没有可用的空闲插槽，将引发 Full 异常。 如果 block 是 False，如果空闲插槽立即可用，则把 item 放入队列，否则引发 Full 异常 ( 在这种情况下，timeout 将被忽略)。

import queue q = queue.Queue(maxsize=2) q.put("橡",block=True) q.put("皮",block=True) q.put("擦",block=True,timeout=3) print(q) 复制代码

运行代码，等待 3s 之后，出现如下异常。

raise Full queue.Full 复制代码 取队列值

代码格式如下：

Queue.get(block=True, timeout=None) 复制代码

该函数表示从队列头部获取一个值，并在队列中删除该值，如果可选参数 block 是 True 并且 timeout 是 None (默认值)，则在必要时阻塞至项目可得到。如果 timeout 是个正数，将最多阻塞 timeout 秒，如果在这段时间内项目不能得到，将引发 Empty 异常。反之 (block 是 False) , 如果一个项目立即可得到，则返回一个项目，否则引发 Empty 异常 (这种情况下，timeout 将被忽略)。

import queue q = queue.Queue(maxsize=4) q.put("橡",block=True) q.put("皮",block=True) q.put("擦",block=True,timeout=3) item1 = q.get() item2 = q.get() item3 = q.get() print(item1,item2,item3) 复制代码 其它常用方法

队列的基本使用参考上述即可，非常简单，其余的都为方法级的应用。

q.qsize()：队列大小； q.empty()：判断队列是否为空； q.full()：判断队列是否为满； q.get_nowait()：等价于 q.get(False)，该方法使用参考上述取队列值部分内容； q.put_nowait(item) ：等价于 q.put(item, False)； q.task_done()与 q.join()：这两个方法继续阅读后续内容。 q.task_done() 与 q.join() 方法

首先 SimpleQueue 是不支持 task_done 和 join 方法的，使用的时候需要注意下。

学习之前，先大概了解一下这两个方法的说明：

task_done：表示队列中的元素已经被取出，即每个 get 获取一个元素之后，调用 task_done 告诉数据处理已经完成，如果被调用的次数大于队列中元素格式，引发 ValueError 异常； join：一直阻塞到队列中所有元素都被取出和执行，只要元素在不断的添加到 queue 中，join 就不会阻塞，也可以理解为需要等到队列为空，再执行别的操作。

如果看文字描述不容易理解，直接对比代码查阅，下述队列将被一直阻塞，原因是在第一个 put 之后，并没有调用 task_done 告知任务完成。

import queue q = queue.Queue(3) q.put('橡', block=True, timeout=5) q.put_nowait('皮') q.task_done() print(q.get()) q.join() 复制代码

解除阻塞的办法也非常简单，只需要在每次的 put 方法后面，增加一个 task_done 方法的调用即可。

import queue q = queue.Queue(3) q.put('橡', block=True, timeout=5) q.task_done() q.put_nowait('皮') q.task_done() print(q.get()) q.join() 复制代码

如果理解起来还有困难，可以在参考下述案例：

import queue q = queue.Queue() q.put('橡') q.put('皮') q.put('擦') for i in range(3): print(q.get()) # 如果不执行 task_done，join 会一直处于阻塞状态，等待 task_done 告知它数据的处理已经完成 # q.task_done() q.join() 复制代码

官方手册还提供了一个多线程的案例提供参考，这里也为大家标记一下，并提供中文注释说明。

import threading, queue # 初始化一个空队列，不限制长度 q = queue.Queue() def worker(): while True: item = q.get() print(f'正在执行： {item}') print(f'完成： {item}') # 发送任务完成的命令 q.task_done() # 开启多线程 threading.Thread(target=worker, daemon=True).start() # 设置 30 个 put for item in range(30): q.put(item) print('所有的任务已经完成\n', end='') # 阻塞，直到所有任务完成 q.join() print('所有任务完成') 复制代码 队列在爬虫应用上的落地

队列既然是线程之间常用的通讯方式，并且自带锁机制，那自然会被应用到爬虫采集中，一般是使用生产者消费者模式进行开发。

下述案例存在一个生产者【橡皮擦】，每间隔 5 秒制作一套课程，存在两个消费者，一直监听橡皮擦是否制作课程，当橡皮擦制作出课程之后，就进行购买：

from queue import Queue import time import threading # 初始化一个队列 q = Queue(maxsize=0) # 生产者 def producer(name): course_num = 1 while True: q.put('制作的第 {} 套课程'.format(course_num)) print("{} 制作的第 {} 套课程".format(name, course_num)) course_num += 1 time.sleep(5) # 消费者 def consumer(name): while True: print('{} 购买了 {}'.format(name, q.get())) time.sleep(1) q.task_done() # 开启三个进程 t1 = threading.Thread(target=producer, args=('橡皮擦',)) t2 = threading.Thread(target=consumer, args=('CSDN 账户 A',)) t3 = threading.Thread(target=consumer, args=('CSDN 账户 B',)) t1.start() t2.start() t3.start() 复制代码 优先级队列

接下来在说明一下优先级队列，优先级队列出队列的顺序与优先级有关，所以在入队的时候，就需要将数据排好顺序。

import queue q = queue.PriorityQueue(5) q.put((5,'梦')) q.put((4,'想')) q.put((4,'橡')) q.put((3,'皮')) q.put((2,'擦')) print(q.get()) print(q.get()) print(q.get()) print(q.get()) print(q.get()) 复制代码

输出顺序如下所示：

(2, '擦') (3, '皮') (4, '想') (4, '橡') (5, '梦') 复制代码 写在后面

本文作为《爬虫 120 例》专栏中的一篇，但是不会占用案例篇幅滴，仅作为一个番外存在，毕竟从下一篇开始，我们将会把 threading 模块与 queue 模块结合起来，实现多线程爬虫 。

《爬虫 120 例》代码仓库地址：codechina.csdn.net/hihell/pyth…，去给个关注或者 Star 吧。

==来都来了，不发个评论，点个赞，收个藏吗？==

今天是持续写作的第 207 / 365 天。 可以关注我，点赞我、评论我、收藏我啦。



【本文地址】


今日新闻

推荐新闻

    CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3